Mestrado Profissional em Administração
IFMG - Campus Formiga
1 de outubro de 2024
Tópicos
Tópicos
Diagnóstico do Modelo de Regressão Linear Múltipla - Seção-Cruzada
Tópicos
Diagnóstico do Modelo de Regressão Linear Múltipla - Seção-Cruzada
Questões
Qual é a diferença entre \(u_i\) e \(e_i\)?
Discutimos bastante \(u_i^2\). Por que?
Também discutimos bastante \(e_i^2\). Por que?
Questão 1
Qual é a diferença entre \(u_i\) e \(e_i\)?
Resposta:
\(\color{#e64173}{u_i}\) fornece o erro populacional para a \(i\)ésima observação.
\(u_i\) mede o quão longe a \(i\)-ésima observação está da linha populacional, ou seja,
\[ u_i = y_i - \color{#e64173}{\underbrace{(\beta_0 + \beta_1 x_i)}_{\text{Reta Populacional}}} \]
\(\color{#6A5ACD}{e_i}\) fornece o resíduo da regressão para a \(i\)-ésima observação.
\(e_i\) mede o quão longe a \(i\)-ésima observação está da linha de regressão, i.e.,
\[ e_i = y_i - \color{#6A5ACD}{\underbrace{\left(\hat{\beta}_0 + \hat{\beta}_1 x_i\right)}_{\text{Reta de Regressão} = \hat{y}}} = y_i - \color{#6A5ACD}{\hat{y}_i} \]
Questão 2
Discutimos bastante \(u_i^2\). Por que?
Resposta:
Uma das principais suposições é que os erros (os \(u_i\)’s) são homocedásticos (têm variância constante), i.e., \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma^2\).
Também assumimos que a média dos erros é zero, \(\color{#e64173}{\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right] = 0}\).
Por definição,
\[ \mathop{\text{Var}} \left( u_i \middle| x_i \right) = \mathop{\boldsymbol{E}}\Big[ u_i^2 - \underbrace{\color{#e64173}{\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right]}^2}_{\color{#e64173}{=0}} \Big| x_i \Big] = \mathop{\boldsymbol{E}}\left[ u_i^2 \middle| x_i \right] \]
Questão 3
Também discutimos bastante \(e_i^2\). Por que?
Resposta:
Não podemos observar \(u_i\) (ou \(u_i^2\)).
Mas \(u_i^2\) nos diz sobre a variância de \(u_i\).
Usamos \(e_i^2\) para aprender sobre \(u_i^2\) e, consequentemente, \(\sigma_i^2\).
Hipóteses
A amostra (os \(x_k\)’s e \(y_i\)) foi retirada aleatoriamente da população.
\(y\) é uma função linear dos \(\beta_k\)’s e \(u_i\).
Não há multicolinearidade perfeita na amostra.
As variáveis explicativas são exógenas: \(\mathop{\boldsymbol{E}}\left[ u \middle| X \right] = 0 \left(\implies \mathop{\boldsymbol{E}}\left[ u \right] = 0\right)\).
Os erros têm variância constante \(\sigma^2\) e covariância zero, i.e.,
\(\mathop{\boldsymbol{E}}\left[ u_i^2 \middle| X_i \right] = \mathop{\text{Var}} \left( u_i \middle| X_i \right) = \sigma^2 \implies \mathop{\text{Var}} \left( u_i \right) = \sigma^2\)
\(\mathop{\text{Cov}} \left( u_i, \, u_j \middle| X_i,\,X_j \right) = \mathop{\boldsymbol{E}}\left[ u_i u_j \middle| X_i,\,X_j \right] = 0\) para \(i\neq j\)
Descrição
Hoje, continuaremos nosso foco na hipótese de homcedasticidade.
A homocedasticidade implica que a variância dos erros é constante:
\[ E[u_i^2 | X] = V(u_i | X ) = \sigma^2 \implies V(u_i) = \sigma^2 \] - A violação da homocedasticidade é conhecida como heterocedasticidade:
\[ V(u_i) = \sigma^2_i \,\, \text{e} \,\, \sigma^2_i \neq \sigma^2_j \,\,\text{para algum} \,\,i\neq j \]
Em outras palavras: os erros têm variâncias diferentes.
A heterocedasticidade está presente quando a variância de \(u\) muda com qualquer combinação das variáveis explicativas \(x_1\) até \(x_k\) (matriz: \(X\)).
Muito comum na prática.
Exemlo clássico de heterocedasticidade: o funil
Outro exemplo de heterocedasticidade: (funil duplo?)
A variância de \(u\) aumenta nos extremos de \(x\).
Outro exemplo de heterocedasticidade:
Variâncias diferentes de \(u\) por grupo.
Revisão
A heterocedasticidade está presente quando a variância de \(u\) muda com qualquer combinação das variáveis explicativas \(x_1\) até \(x_k\).
Temos alguns testes que podem nos ajudar a detectar heterocedasticidade.
O que fazemos se detectarmos a heterocedasticidade?
Revisão
Na presença de heterocedasticidade, os estimadores de MQO:
Em média, obtemos a resposta correta, mas com mais ruído (menos precisão).
Também: Os erros padrão são viesados.
Opções:
Verificar a especificação da regressão.
Encontrar um novo estimador não viesado mais eficiente para os \(\beta_j\)’s.
Conviver com a ineficiência dos estimadores de MQO; encontrar um novo estimador da variância.
Especificação Incorreta
Como discutimos, a especificação do seu modelo de regressão importa muito para a não tendenciosidade e eficiência do estimador.
Resposta nº 1: Garanta que sua especificação não cause heterocedasticidade.
Especificação Incorreta
Exemplo: Seja a relação populacional
\[ y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + u_i \]
com \(\mathop{\boldsymbol{E}}\left[ u_i \middle| x_i \right] = 0\) e \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma^2\).
No entanto, omitimos \(x^2\) e estimamos:
\[ y_i = \gamma_0 + \gamma_1 x_i + w_i \]
Então
\[ w_i = u_i + \beta_2 x_i^2 \implies \mathop{\text{Var}} \left( w_i \right) = f(x_i) \]
I.e., a variância de \(w_i\) muda sistematicamente com \(x_i\) (heteroscedasticidade).
Realidade: \(\color{#e64173}{\log\left(y_i\right) = \beta_0 + \beta_1 x_i + u_i}\)
Especificação Incorreta: \(\color{#314f4f}{y_i = \beta_0 + \beta_1 x_i + v_i}\)
Realidade: \(\color{#e64173}{\log\left(y_i\right) = \beta_0 + \beta_1 x_i + u_i}\)
Especificação Incorreta: \(\color{#314f4f}{y_i = \beta_0 + \beta_1 x_i + v_i}\)
Especificação Incorreta
Mais geralmente:
Problema de especificação incorreta: A especificação incorreta do modelo de regressão pode causar heterocedasticidade (entre outros problemas).
Solução: 💡 Faça certo (por exemplo, não omita \(x^2\)).
Novos problemas:
Conclusão: A especificação muitas vezes não “resolverá” a heterocedasticidade.
No entanto, especificar corretamente o modelo ainda é muito importante.
Weighted least squares (WLS) (Mínimos Quadrados Ponderados)
Mínimos Quadrados Ponderados (WLS) apresentam outra abordagem.
Resposta #2: Aumente a eficiência ponderando as observações.
Seja a verdadeira relação populacional dada por:
\[ \begin{align} y_i = \beta_0 + \beta_1 x_{i} + u_i \tag{1} \end{align} \]
com \(u_i \sim \mathop{N} \left( 0,\, \sigma_i^2 \right)\).
Agora transforme \((1)\) dividindo os dados de cada observação por \(\sigma_i\), i.e.,
\[ \begin{align} \dfrac{y_i}{\sigma_i} &= \beta_0 \dfrac{1}{\sigma_i} + \beta_1 \dfrac{x_{i}}{\sigma_i} + \dfrac{u_i}{\sigma_i} \tag{2} \end{align} \]
Weighted least squares (WLS) (Mínimos Quadrados Ponderados)
\[ \begin{align} y_i &= \beta_0 + \beta_1 x_{i} + u_i \tag{1} \\[1em] \dfrac{y_i}{\sigma_i} &= \beta_0 \dfrac{1}{\sigma_i} + \beta_1 \dfrac{x_{i}}{\sigma_i} + \dfrac{u_i}{\sigma_i} \tag{2} \end{align} \]
Enquanto \((1)\) é heterocedástico, \(\color{#e64173}{(2)}\) é homocedástico.
∴ MQO é eficiente e não viesado para estimar \(\beta_k\) em \((2)\)!
Por que \((2)\) é homocedástico?
\[ \mathop{V} \left(\dfrac{u_i}{\sigma_i} \middle| x_i \right) = \dfrac{1}{\sigma_i^2} \mathop{V} \left( u_i \middle| x_i \right) = \dfrac{1}{\sigma_i^2} \sigma_i^2 = 1 \]
Weighted least squares (WLS) (Mínimos Quadrados Ponderados)
WLS é ótimo, mas precisamos saber \(\sigma_i^2\), o que geralmente é improvável.
Podemos relaxar ligeiramente esse requisito, requerendo que:
\(\mathop{\text{Var}} \left( u_i | x_i \right) = \sigma_i^2 = \sigma^2 h(x_i)\)
Sabemos \(h(x)\).
Como antes, transformamos nosso modelo heterocedástico em um modelo homocedástico.
Desta vez, dividimos1 os dados de cada observação por \(\sqrt{h(x_i)}\).
Weighted least squares (WLS) (Mínimos Quadrados Ponderados)
\[ \begin{align} y_i &= \beta_0 + \beta_1 x_{i} + u_i \tag{1} \\[1em] \dfrac{y_i}{\sqrt{h(x_i)}} &= \beta_0 \dfrac{1}{\sqrt{h(x_i)}} + \beta_1 \dfrac{x_{i}}{\sqrt{h(x_i)}} + \dfrac{u_i}{\sqrt{h(x_i)}} \tag{2} \end{align} \]
com \(\mathop{\text{Var}} \left( u_i | x_i \right) = \sigma^2 h(x_i)\).
Agora vamos verificar se \((2)\) é de fato homocedástico.
\[ \mathop{V} \left(\dfrac{u_i}{\sqrt{h(x_i)}} \middle| x_i \right) = \dfrac{1}{h(x_i)} \mathop{V} \left( u_i \middle| x_i \right) = \dfrac{1}{h(x_i)} \sigma^2 h(x_i) = \color{#e64173}{\sigma^2} \]
Homocedasticidade!
Weighted least squares (WLS) (Mínimos Quadrados Ponderados)
Estimadores de Mínimos Quadrados Ponderados (WLS) são uma classe especial de estimadores de Mínimos Quadrados Generalizados (GLS) focados em heterocedasticidade.
\[ y_i = \beta_0 + \beta_1 x_{1i} + u_i \quad \color{#e64173}{\text{vs.}} \quad \dfrac{y_i}{\sigma_i} = \beta_0 \dfrac{1}{\sigma_i} + \beta_1 \dfrac{x_{1i}}{\sigma_i} + \dfrac{u_i}{\sigma_i} \] Notas:
WLS transforma um modelo heterocedástico em um modelo homocedástico.
Ponderação: WLS reduz o peso de observações com variância mais alta.
Grande requisito: WLS requer que saibamos \(\sigma_i^2\) para cada observação.
WLS é geralmente inviável (infeasible). GLS Feasible (FGLS) oferece uma solução.
Sob suas suposições: WLS é o melhor estimador linear não enviesado.
Erros Padrão Robustos à Heterocedasticidade
Resposta #3:
Q: O que é erro padrão?
R: É o desvio padrão da distribuição amostral de um estimador.
Estimadores (como \(\hat{\beta}_1\)) são variáveis aleatórias, então eles têm distribuições de probabilidade.
Erros padrão nos dão uma noção da variabilidade de um estimador.
Erros Padrão Robustos à Heterocedasticidade
Lembre-se: Podemos escrever o estimador de MQO para \(\beta_1\) como:
\[ \hat{\beta}_1 = \beta_1 + \dfrac{\sum_i \left(x_i - \overline{x} \right) u_i}{\sum_i \left( x_i - \overline{x} \right)^2} = \beta_1 + \dfrac{\sum_i \left( x_i - \overline{x} \right) u_i}{\text{SST}_x} \tag{3} \]
Seja \(\mathop{\text{Var}} \left( u_i \middle| x_i \right) = \sigma_i^2\).
Podemos usar \((3)\) para escrever a variância de \(\hat{\beta}_1\), i.e.,
\[ \mathop{V} \left( \hat{\beta}_1 \middle| x_i \right) = \dfrac{\sum_i \left( x_i - \overline{x} \right)^2 \sigma_i^2}{\text{SST}_x^2} \tag{4} \]
Erros Padrão Robustos à Heterocedasticidade
Se quisermos estimativas não viesadas para os erros padrão, precisamos de um estimador não viesado para:
\[ \dfrac{\sum_i \left(x_i - \overline{x} \right)^2 \sigma_i^2}{\text{SST}_x^2} \]
O econometrista Halbert White (White, 1980) forneceu esse estimador1:
\[ \widehat{\mathop{\text{Var}}} \left( \hat{\beta}_1 \right) = \dfrac{\sum_i \left(x_i - \overline{x} \right)^2 e_i^2}{\text{SST}_x^2} \] onde os \(e_i\) vem da regressão de MQO de interesse.
Halbert White
White (1980), é o artigo seminal de Halbert White, no qual ele propõe estimadores para obter erros padrão robustos à heterocedasticidade.
Este trabalho introduziu um estimador consistente para a matriz de covariância que é robusto à heterocedasticidade, permitindo que os erros padrão das estimativas sejam ajustados adequadamente na presença de variância não constante dos erros.
Além disso, White apresentou um teste direto para detectar heterocedasticidade, conhecido posteriormente como “Teste de White”.
Este artigo tornou-se uma das referências mais citadas em econometria, devido à importância prática dos estimadores e do teste proposto.
Erros Padrão Robustos à Heterocedasticidade
Os estimadores robustos à heterocedasticidade para o erro padrão de \(\beta_j\) são:
Caso 1 Regressão linear simples, \(y_i = \beta_0 + \beta_1 x_i + u_i\)
\[ \widehat{\mathop{\text{Var}}} \left( \hat{\beta}_1 \right) = \dfrac{\sum_i \left( x_i - \overline{x} \right)^2 e_i^2}{\text{SST}_x^2} \]
Caso 2 Regressão linear múltipla, \(y_i = \beta_0 + \beta_1 x_{1i} + \cdots + \beta_k x_{ki} + u_i\)
\[ \widehat{\mathop{\text{Var}}} \left(\hat{\beta}_j \right) = \dfrac{\sum_i \hat{r}_{ij}^2 e_i^2}{\text{SST}_{x_j^2}} \]
onde \(\hat{r}_{ij}\) denota o \(i-\)ésimo resíduo da regressão de \(x_j\) contra todas as outras variáveis explicativas.
Erros Padrão Robustos à Heterocedasticidade
Com esses erros padrão, podemos retornar à inferência estatística correta.
Por exemplo, podemos atualizar a fórmula para a estatística \(t\) anterior com os novos erros padrão robustos à heterocedasticidade:
\[ t = \dfrac{\text{Estimativa} - \text{Valor hipotético}}{\text{Erro padrão}} \]
Erros Padrão Robustos à Heterocedasticidade
Notas
Ainda estamos usando os estimadores de MQO para \(\color{#e64173}{\beta_j}\).
Os erros padrão robustos à heteroc. usam um estimador diferente.
Sob Homocedasticidade:
Sob Heterocedasticidade:
Erros Padrão Robustos à Heterocedasticidade
Esses erros padrão têm muitos nomes
Não diga: “Erros padrão robustos”. O problema: “robusto” a quê?